#OpenAI scaling laws

1周前

在 2020 年，OpenAI 的 Kaplan 等人发表了著名的 Scaling Laws for Neural Language Models，声称模型性能与参数规模、数据量、算力之间存在幂律关系。此后整个行业几乎形成共识：只要不断堆规模，就能一路走向 AGI。但在 2022 年，这种“信仰”迎来了最刺耳的挑战者：Gary Marcus ——创业者，纽约大学心理学与神经科学荣休教授。Marcus 在 Scientific American 与个人博客中发文，公开质疑所谓 scaling laws。他提出了四点核心反驳： - 不是自然定律：Scaling laws 只是有限区间的经验曲线，并非像重力一样的普适规律，不能保证永远有效。 - 推理缺陷：再大的模型也难以自然学会逻辑推理和因果理解。 - 常识缺失：依赖统计模式匹配，缺乏真正的世界模型和结构化理解。 - 难以为继：算力成本高企，高质量语料有限，盲目扩大规模不可持续。结果，Marcus 遭遇了整个 AI 社群的猛烈回击：从 Sam Altman、Greg Brockman，到 Yann LeCun、Elon Musk，许多业界名人都公开或间接嘲讽他的观点。他后来感慨，这几乎让自己被“逐出”机器学习的主流。三年前的批评让 Marcus 成为异端。今天，越来越多人却开始发现：他可能并没有错。

#OpenAI scaling laws #Gary Marcus质疑 #AI社群反击 #AGI #算力成本